Naive Bayes Classifier

Machine Learning - সাইকিট-লার্ন (Scikit-Learn)

171

Naive Bayes একটি জনপ্রিয় এবং সহজ মেশিন লার্নিং ক্লাসিফিকেশন অ্যালগরিদম যা বায়েস থিওরেম (Bayes Theorem) এর উপর ভিত্তি করে কাজ করে। এটি সাধারণত তথ্য বিশ্লেষণ এবং টেক্সট ক্লাসিফিকেশন (যেমন ইমেইল স্প্যাম ডিটেকশন) কাজে ব্যবহৃত হয়। "Naive" শব্দটি ব্যবহার করা হয়েছে কারণ এটি একটি সাধারণতা (simplifying assumption) মনে করে: যে ফিচারগুলি ইনপুট ডেটাতে উপস্থিত থাকে, তারা একে অপরের থেকে স্বাধীন।

Bayes Theorem

Bayes Theorem মূলত এই সম্পর্ক ব্যবহার করে:

$P(A∣B)=P(B∣A)×P(A)P(B)<math display="block" xmlns="http://www.w3.org/1998/Math/MathML"><semantics><mrow><mi>P</mi><mo stretchy="false">(</mo><mi>A</mi><mi mathvariant="normal">∣</mi><mi>B</mi><mo stretchy="false">)</mo><mo>=</mo><mfrac><mrow><mi>P</mi><mo stretchy="false">(</mo><mi>B</mi><mi mathvariant="normal">∣</mi><mi>A</mi><mo stretchy="false">)</mo><mo>×</mo><mi>P</mi><mo stretchy="false">(</mo><mi>A</mi><mo stretchy="false">)</mo></mrow><mrow><mi>P</mi><mo stretchy="false">(</mo><mi>B</mi><mo stretchy="false">)</mo></mrow></mfrac></mrow><annotation encoding="application/x-tex">P(A|B) = \frac{P(B|A) \times P(A)}{P(B)}</annotation></semantics></math>$

এখানে:

$P (A ∣ B) <math xmlns="http://www.w3.org/1998/Math/MathML"><semantics><mrow><mi>P</mi><mo stretchy="false">(</mo><mi>A</mi><mi mathvariant="normal">∣</mi><mi>B</mi><mo stretchy="false">)</mo></mrow><annotation encoding="application/x-tex">P(A|B)</annotation></semantics></math>$ হলো শর্তাধীন সম্ভাবনা, অর্থাৎ $B <math xmlns="http://www.w3.org/1998/Math/MathML"><semantics><mrow><mi>B</mi></mrow><annotation encoding="application/x-tex">B</annotation></semantics></math>$ ঘটনার শর্তে $A <math xmlns="http://www.w3.org/1998/Math/MathML"><semantics><mrow><mi>A</mi></mrow><annotation encoding="application/x-tex">A</annotation></semantics></math>$ ঘটার সম্ভাবনা।
$P (B ∣ A) <math xmlns="http://www.w3.org/1998/Math/MathML"><semantics><mrow><mi>P</mi><mo stretchy="false">(</mo><mi>B</mi><mi mathvariant="normal">∣</mi><mi>A</mi><mo stretchy="false">)</mo></mrow><annotation encoding="application/x-tex">P(B|A)</annotation></semantics></math>$ হলো $A <math xmlns="http://www.w3.org/1998/Math/MathML"><semantics><mrow><mi>A</mi></mrow><annotation encoding="application/x-tex">A</annotation></semantics></math>$ ঘটনার শর্তে $B <math xmlns="http://www.w3.org/1998/Math/MathML"><semantics><mrow><mi>B</mi></mrow><annotation encoding="application/x-tex">B</annotation></semantics></math>$ ঘটার সম্ভাবনা।
$P (A) <math xmlns="http://www.w3.org/1998/Math/MathML"><semantics><mrow><mi>P</mi><mo stretchy="false">(</mo><mi>A</mi><mo stretchy="false">)</mo></mrow><annotation encoding="application/x-tex">P(A)</annotation></semantics></math>$ হলো $A <math xmlns="http://www.w3.org/1998/Math/MathML"><semantics><mrow><mi>A</mi></mrow><annotation encoding="application/x-tex">A</annotation></semantics></math>$ ঘটার সাধারণ সম্ভাবনা।
$P (B) <math xmlns="http://www.w3.org/1998/Math/MathML"><semantics><mrow><mi>P</mi><mo stretchy="false">(</mo><mi>B</mi><mo stretchy="false">)</mo></mrow><annotation encoding="application/x-tex">P(B)</annotation></semantics></math>$ হলো $B <math xmlns="http://www.w3.org/1998/Math/MathML"><semantics><mrow><mi>B</mi></mrow><annotation encoding="application/x-tex">B</annotation></semantics></math>$ ঘটার সাধারণ সম্ভাবনা।

Naive Bayes Classifier এর মূল ধারণা

Naive Bayes Classifier নির্দিষ্ট একটি শ্রেণির জন্য শর্তাধীন সম্ভাবনা হিসাব করে এবং বিভিন্ন ক্লাসের মধ্যে সর্বোচ্চ সম্ভাবনা সহ শ্রেণিটি নির্বাচন করে। এটি ফিচার ইনডিপেনডেন্স অনুমান করে, অর্থাৎ একটি ফিচার অন্য ফিচারের উপর নির্ভরশীল নয়।

প্রবণতা: মডেলটি বিভিন্ন শ্রেণির জন্য সম্ভাবনা নির্ধারণ করে এবং সর্বোচ্চ সম্ভাবনা সহ শ্রেণি নির্বাচন করে।

Naive Bayes এর তিনটি প্রধান ধরনের অ্যালগরিদম:

Gaussian Naive Bayes: যখন ফিচারগুলির মান সততা (continuous) হয়, যেমন গড় এবং স্ট্যান্ডার্ড ডেভিয়েশন।
Multinomial Naive Bayes: যখন ফিচারগুলি ক্যাটেগরিক্যাল বা ডিসক্রিট হয়, যেমন শব্দের উপস্থিতি বা সংখ্যা।
Bernoulli Naive Bayes: এটি একটি বিশেষ সংস্করণ যা বাইনারি (দ্বৈত) ফিচারগুলির জন্য ব্যবহৃত হয়, যেমন কোন শব্দ উপস্থিত বা অনুপস্থিত।

Naive Bayes মডেল প্রয়োগের ধাপ:

প্রথম ধাপ: ক্লাসের জন্য শর্তাধীন সম্ভাবনা হিসাব করা।
- $P (c l a s s) <math xmlns="http://www.w3.org/1998/Math/MathML"><semantics><mrow><mi>P</mi><mo stretchy="false">(</mo><mi>c</mi><mi>l</mi><mi>a</mi><mi>s</mi><mi>s</mi><mo stretchy="false">)</mo></mrow><annotation encoding="application/x-tex">P(class)</annotation></semantics></math>$ : প্রশিক্ষণ ডেটা থেকে প্রতিটি শ্রেণির সম্ভাবনা।
- $P (f e a t u r e 1 ∣ c l a s s) <math xmlns="http://www.w3.org/1998/Math/MathML"><semantics><mrow><mi>P</mi><mo stretchy="false">(</mo><mi>f</mi><mi>e</mi><mi>a</mi><mi>t</mi><mi>u</mi><mi>r</mi><msub><mi>e</mi><mn>1</mn></msub><mi mathvariant="normal">∣</mi><mi>c</mi><mi>l</mi><mi>a</mi><mi>s</mi><mi>s</mi><mo stretchy="false">)</mo></mrow><annotation encoding="application/x-tex">P(feature_1 | class)</annotation></semantics></math>$ , $P (f e a t u r e 2 ∣ c l a s s) <math xmlns="http://www.w3.org/1998/Math/MathML"><semantics><mrow><mi>P</mi><mo stretchy="false">(</mo><mi>f</mi><mi>e</mi><mi>a</mi><mi>t</mi><mi>u</mi><mi>r</mi><msub><mi>e</mi><mn>2</mn></msub><mi mathvariant="normal">∣</mi><mi>c</mi><mi>l</mi><mi>a</mi><mi>s</mi><mi>s</mi><mo stretchy="false">)</mo></mrow><annotation encoding="application/x-tex">P(feature_2 | class)</annotation></semantics></math>$ , ... $P (f e a t u r e n ∣ c l a s s) <math xmlns="http://www.w3.org/1998/Math/MathML"><semantics><mrow><mi>P</mi><mo stretchy="false">(</mo><mi>f</mi><mi>e</mi><mi>a</mi><mi>t</mi><mi>u</mi><mi>r</mi><msub><mi>e</mi><mi>n</mi></msub><mi mathvariant="normal">∣</mi><mi>c</mi><mi>l</mi><mi>a</mi><mi>s</mi><mi>s</mi><mo stretchy="false">)</mo></mrow><annotation encoding="application/x-tex">P(feature_n | class)</annotation></semantics></math>$ : প্রতিটি ফিচারের শর্তাধীন সম্ভাবনা, ক্লাস অনুযায়ী।
দ্বিতীয় ধাপ: সমস্ত ফিচারের জন্য শর্তাধীন সম্ভাবনা গুণ করা এবং প্রাপ্ত সম্ভাবনার মাধ্যমে শ্রেণি নির্বাচন করা।

Naive Bayes Formula:

একটি ক্লাসের জন্য শর্তাধীন সম্ভাবনা বের করা যায় এইভাবে:

$P(class∣features)=P(class)×P(feature1∣class)×P(feature2∣class)×⋯×P(featuren∣class)P(features)<math display="block" xmlns="http://www.w3.org/1998/Math/MathML"><semantics><mrow><mi>P</mi><mo stretchy="false">(</mo><mi>c</mi><mi>l</mi><mi>a</mi><mi>s</mi><mi>s</mi><mi mathvariant="normal">∣</mi><mi>f</mi><mi>e</mi><mi>a</mi><mi>t</mi><mi>u</mi><mi>r</mi><mi>e</mi><mi>s</mi><mo stretchy="false">)</mo><mo>=</mo><mfrac><mrow><mi>P</mi><mo stretchy="false">(</mo><mi>c</mi><mi>l</mi><mi>a</mi><mi>s</mi><mi>s</mi><mo stretchy="false">)</mo><mo>×</mo><mi>P</mi><mo stretchy="false">(</mo><mi>f</mi><mi>e</mi><mi>a</mi><mi>t</mi><mi>u</mi><mi>r</mi><msub><mi>e</mi><mn>1</mn></msub><mi mathvariant="normal">∣</mi><mi>c</mi><mi>l</mi><mi>a</mi><mi>s</mi><mi>s</mi><mo stretchy="false">)</mo><mo>×</mo><mi>P</mi><mo stretchy="false">(</mo><mi>f</mi><mi>e</mi><mi>a</mi><mi>t</mi><mi>u</mi><mi>r</mi><msub><mi>e</mi><mn>2</mn></msub><mi mathvariant="normal">∣</mi><mi>c</mi><mi>l</mi><mi>a</mi><mi>s</mi><mi>s</mi><mo stretchy="false">)</mo><mo>×</mo><mo>⋯</mo><mo>×</mo><mi>P</mi><mo stretchy="false">(</mo><mi>f</mi><mi>e</mi><mi>a</mi><mi>t</mi><mi>u</mi><mi>r</mi><msub><mi>e</mi><mi>n</mi></msub><mi mathvariant="normal">∣</mi><mi>c</mi><mi>l</mi><mi>a</mi><mi>s</mi><mi>s</mi><mo stretchy="false">)</mo></mrow><mrow><mi>P</mi><mo stretchy="false">(</mo><mi>f</mi><mi>e</mi><mi>a</mi><mi>t</mi><mi>u</mi><mi>r</mi><mi>e</mi><mi>s</mi><mo stretchy="false">)</mo></mrow></mfrac></mrow><annotation encoding="application/x-tex">P(class | features) = \frac{P(class) \times P(feature_1 | class) \times P(feature_2 | class) \times \cdots \times P(feature_n | class)}{P(features)}</annotation></semantics></math>$

এটি বিভিন্ন ক্লাসের জন্য গণনা করে, এবং যেই ক্লাসের জন্য সর্বোচ্চ সম্ভাবনা বের হবে, সেটি মডেল নির্বাচিত শ্রেণি হিসেবে প্রদান করবে।

উদাহরণ:

ধরা যাক, একটি ইমেইল স্প্যাম ডিটেকশন সমস্যা সমাধান করতে Naive Bayes ব্যবহার করা হচ্ছে। আমাদের দুটি শ্রেণী থাকবে: স্প্যাম এবং নন-স্প্যাম।

আমাদের ডেটা সেটে কিছু ফিচার থাকবে, যেমন "free", "money", এবং "offer" শব্দের উপস্থিতি। এখন, Naive Bayes এই ফিচারগুলির সম্ভাবনা বের করে এবং প্রতিটি শ্রেণির জন্য সম্ভাবনা নির্ধারণ করবে।

Naive Bayes মডেল ব্যবহার করার ধাপ:

from sklearn.naive_bayes import MultinomialNB
from sklearn.feature_extraction.text import CountVectorizer

# উদাহরণ ডেটা (ইমেইল টেক্সট)
emails = ["Free money now", "Limited time offer", "Hi, how are you?", "Let's have a meeting tomorrow"]
labels = [1, 1, 0, 0]  # 1 = স্প্যাম, 0 = নন-স্প্যাম

# CountVectorizer ব্যবহার করে শব্দের সংখ্যা হিসাব করা
vectorizer = CountVectorizer()
X = vectorizer.fit_transform(emails)

# Naive Bayes মডেল প্রশিক্ষণ
model = MultinomialNB()
model.fit(X, labels)

# নতুন ইমেইলের পূর্বাভাস
new_email = ["Congratulations, you have won free money"]
new_email_vectorized = vectorizer.transform(new_email)
prediction = model.predict(new_email_vectorized)

print("Prediction:", prediction)

Naive Bayes Classifier এর সুবিধা এবং সীমাবদ্ধতা

সুবিধা:

সহজ এবং দ্রুত: Naive Bayes মডেলটি খুবই সহজ এবং প্রশিক্ষণের জন্য দ্রুত কাজ করে।
কম্পিউটেশনালভাবে কার্যকরী: এটি ছোট ডেটাসেট এবং বড় ডেটাসেট উভয়ের জন্য কার্যকর।
অনেক ধরনের ডেটার জন্য ব্যবহারযোগ্য: টেক্সট ক্লাসিফিকেশন, স্প্যাম ডিটেকশন, এবং বিভিন্ন ক্যাটেগরিক্যাল ডেটা বিশ্লেষণে এটি কার্যকর।

সীমাবদ্ধতা:

ফিচার ইন্ডিপেনডেন্স: Naive Bayes মডেলটি ফিচারের স্বাধীনতা (feature independence) ধারণা করে, যা বাস্তবে সবসময় সঠিক নাও হতে পারে।
কম্প্লেক্স ডেটার জন্য সঠিক নয়: যদি ফিচারগুলির মধ্যে শক্তিশালী সম্পর্ক থাকে, তবে Naive Bayes খুব ভাল ফলাফল নাও দিতে পারে।

সারাংশ:

Naive Bayes Classifier একটি শক্তিশালী এবং জনপ্রিয় মডেল যা বায়েস থিওরেম এর উপর ভিত্তি করে কাজ করে এবং ফিচারগুলির একে অপরের থেকে স্বাধীনতা ধারণা করে। এটি বিশেষভাবে টেক্সট ক্লাসিফিকেশন (যেমন স্প্যাম ডিটেকশন) এবং অন্যান্য ক্যাটেগরিক্যাল ক্লাসিফিকেশন কাজে কার্যকর। Naive Bayes মডেলটি সহজ, দ্রুত এবং কম্পিউটেশনালভাবে কার্যকরী হলেও, এটি ফিচারগুলির মধ্যে সম্পর্কের ব্যাপারে সঠিক নয়।

Content added By

Md Azizur Rahman

Naive Bayes এর বেসিক ধারণা

133

Naive Bayes একটি জনপ্রিয় এবং সহজ মেশিন লার্নিং অ্যালগরিদম যা প্রধানত ক্লাসিফিকেশন সমস্যার জন্য ব্যবহৃত হয়। এটি বায়েজিয়ান প্রোবাবিলিটি থিওরি (Bayesian probability theory) এর উপর ভিত্তি করে কাজ করে এবং ফিচারগুলির মধ্যে স্বাধীনতা (independence) ধরে একটি সহজ মডেল তৈরি করে। এই কারণেই এটি "Naive" (নিরীহ) নামে পরিচিত, কারণ এটি ধরে নেয় যে ইনপুট ফিচারগুলির মধ্যে পারস্পরিক সম্পর্ক নেই।

Naive Bayes এর মৌলিক ধারণা

Naive Bayes মূলত বায়েজিয়ান থিওরি ব্যবহার করে। বায়েজিয়ান থিওরি অনুযায়ী, একটি আউটপুট শ্রেণী $C <math xmlns="http://www.w3.org/1998/Math/MathML"><semantics><mrow><mi>C</mi></mrow><annotation encoding="application/x-tex">C</annotation></semantics></math>$ এর জন্য একটি ইনপুট ফিচার $X <math xmlns="http://www.w3.org/1998/Math/MathML"><semantics><mrow><mi>X</mi></mrow><annotation encoding="application/x-tex">X</annotation></semantics></math>$ -এর সম্ভাবনা নির্ধারণ করা হয় নিচের সমীকরণ অনুসারে:

$P(C∣X)=P(X∣C)P(C)P(X)<math display="block" xmlns="http://www.w3.org/1998/Math/MathML"><semantics><mrow><mi>P</mi><mo stretchy="false">(</mo><mi>C</mi><mi mathvariant="normal">∣</mi><mi>X</mi><mo stretchy="false">)</mo><mo>=</mo><mfrac><mrow><mi>P</mi><mo stretchy="false">(</mo><mi>X</mi><mi mathvariant="normal">∣</mi><mi>C</mi><mo stretchy="false">)</mo><mi>P</mi><mo stretchy="false">(</mo><mi>C</mi><mo stretchy="false">)</mo></mrow><mrow><mi>P</mi><mo stretchy="false">(</mo><mi>X</mi><mo stretchy="false">)</mo></mrow></mfrac></mrow><annotation encoding="application/x-tex">P(C|X) = \frac{P(X|C)P(C)}{P(X)}</annotation></semantics></math>$

এখানে:

$P (C ∣ X) <math xmlns="http://www.w3.org/1998/Math/MathML"><semantics><mrow><mi>P</mi><mo stretchy="false">(</mo><mi>C</mi><mi mathvariant="normal">∣</mi><mi>X</mi><mo stretchy="false">)</mo></mrow><annotation encoding="application/x-tex">P(C|X)</annotation></semantics></math>$ হলো আউটপুট শ্রেণী $C <math xmlns="http://www.w3.org/1998/Math/MathML"><semantics><mrow><mi>C</mi></mrow><annotation encoding="application/x-tex">C</annotation></semantics></math>$ এর শর্তাধীন সম্ভাবনা ইনপুট $X <math xmlns="http://www.w3.org/1998/Math/MathML"><semantics><mrow><mi>X</mi></mrow><annotation encoding="application/x-tex">X</annotation></semantics></math>$ এর জন্য।
$P (X ∣ C) <math xmlns="http://www.w3.org/1998/Math/MathML"><semantics><mrow><mi>P</mi><mo stretchy="false">(</mo><mi>X</mi><mi mathvariant="normal">∣</mi><mi>C</mi><mo stretchy="false">)</mo></mrow><annotation encoding="application/x-tex">P(X|C)</annotation></semantics></math>$ হলো $X <math xmlns="http://www.w3.org/1998/Math/MathML"><semantics><mrow><mi>X</mi></mrow><annotation encoding="application/x-tex">X</annotation></semantics></math>$ এর শর্তাধীন সম্ভাবনা $C <math xmlns="http://www.w3.org/1998/Math/MathML"><semantics><mrow><mi>C</mi></mrow><annotation encoding="application/x-tex">C</annotation></semantics></math>$ এর জন্য।
$P (C) <math xmlns="http://www.w3.org/1998/Math/MathML"><semantics><mrow><mi>P</mi><mo stretchy="false">(</mo><mi>C</mi><mo stretchy="false">)</mo></mrow><annotation encoding="application/x-tex">P(C)</annotation></semantics></math>$ হলো $C <math xmlns="http://www.w3.org/1998/Math/MathML"><semantics><mrow><mi>C</mi></mrow><annotation encoding="application/x-tex">C</annotation></semantics></math>$ শ্রেণীর প্রাথমিক সম্ভাবনা।
$P (X) <math xmlns="http://www.w3.org/1998/Math/MathML"><semantics><mrow><mi>P</mi><mo stretchy="false">(</mo><mi>X</mi><mo stretchy="false">)</mo></mrow><annotation encoding="application/x-tex">P(X)</annotation></semantics></math>$ হলো ইনপুট $X <math xmlns="http://www.w3.org/1998/Math/MathML"><semantics><mrow><mi>X</mi></mrow><annotation encoding="application/x-tex">X</annotation></semantics></math>$ এর সম্ভাবনা।

Naive Bayes এর সবচেয়ে গুরুত্বপূর্ণ বৈশিষ্ট্য হলো এটি নিরীহ অনুমান করে যে সমস্ত ফিচার একে অপর থেকে স্বাধীন। অর্থাৎ, এটি ধরে নেয় যে ফিচারগুলির মধ্যে কোনও পারস্পরিক সম্পর্ক নেই, যা বাস্তব জীবনে সব সময় সত্য নাও হতে পারে। তবে এই ধারণার কারণে এটি কমপ্লেক্স মডেল তৈরি না করেই খুব দ্রুত এবং কার্যকরভাবে কাজ করে।

Naive Bayes এর ধাপ

প্রাথমিক সম্ভাবনা (Prior Probability):
প্রতিটি শ্রেণীর জন্য প্রাথমিক সম্ভাবনা $P (C) <math xmlns="http://www.w3.org/1998/Math/MathML"><semantics><mrow><mi>P</mi><mo stretchy="false">(</mo><mi>C</mi><mo stretchy="false">)</mo></mrow><annotation encoding="application/x-tex">P(C)</annotation></semantics></math>$ গণনা করা হয়। এটি সাধারণত ডেটাসেটের মধ্যে শ্রেণী বিভাজনের ভিত্তিতে হিসাব করা হয়।
শর্তাধীন সম্ভাবনা (Likelihood):
প্রতিটি ফিচারের জন্য, শ্রেণী $C <math xmlns="http://www.w3.org/1998/Math/MathML"><semantics><mrow><mi>C</mi></mrow><annotation encoding="application/x-tex">C</annotation></semantics></math>$ দেওয়া হলে $P (X ∣ C) <math xmlns="http://www.w3.org/1998/Math/MathML"><semantics><mrow><mi>P</mi><mo stretchy="false">(</mo><mi>X</mi><mi mathvariant="normal">∣</mi><mi>C</mi><mo stretchy="false">)</mo></mrow><annotation encoding="application/x-tex">P(X|C)</annotation></semantics></math>$ সম্ভাবনা হিসাব করা হয়। এটি প্রতিটি ফিচারের পৃথক সম্ভাবনা এবং এই ফিচারগুলির মধ্যে কোনো সম্পর্ক নেই এমন ধারণায় ভিত্তি করে।
পোস্টেরিয়র সম্ভাবনা (Posterior Probability):
Bayes' থিওরেমের মাধ্যমে প্রতিটি শ্রেণীর জন্য পোস্টেরিয়র সম্ভাবনা $P (C ∣ X) <math xmlns="http://www.w3.org/1998/Math/MathML"><semantics><mrow><mi>P</mi><mo stretchy="false">(</mo><mi>C</mi><mi mathvariant="normal">∣</mi><mi>X</mi><mo stretchy="false">)</mo></mrow><annotation encoding="application/x-tex">P(C|X)</annotation></semantics></math>$ গণনা করা হয়।
সর্বোচ্চ পোস্টেরিয়র সম্ভাবনা নির্বাচন (Maximizing Posterior Probability):
শ্রেণী নির্বাচন করার জন্য, সবচেয়ে বেশি পোস্টেরিয়র সম্ভাবনা পেতে হবে।

Naive Bayes এর উদাহরণ

ধরা যাক, আমাদের কাছে কিছু ডেটা আছে যা দুটি শ্রেণী (স্প্যাম এবং নন-স্প্যাম) নিয়ে কাজ করছে এবং আমরা নির্ধারণ করতে চাই যে একটি নতুন ইমেইল স্প্যাম কিনা।

ধরা যাক, ইনপুট ফিচারগুলি হলো:

"প্রিয়" শব্দের উপস্থিতি
"নেতিবাচক" শব্দের উপস্থিতি

এখন, Naive Bayes এই ফিচারগুলির ভিত্তিতে এই সম্ভাবনাগুলি হিসাব করবে:

$P(স্প্যাম)=0.4<math xmlns="http://www.w3.org/1998/Math/MathML"><semantics><mrow><mi>P</mi><mo stretchy="false">(</mo><mtext>স্প্যাম</mtext><mo stretchy="false">)</mo><mo>=</mo><mn>0.4</mn></mrow><annotation encoding="application/x-tex">P(\text{স্প্যাম}) = 0.4</annotation></semantics></math>$
$P(নন-স্প্যাম)=0.6<math xmlns="http://www.w3.org/1998/Math/MathML"><semantics><mrow><mi>P</mi><mo stretchy="false">(</mo><mtext>নন-স্প্যাম</mtext><mo stretchy="false">)</mo><mo>=</mo><mn>0.6</mn></mrow><annotation encoding="application/x-tex">P(\text{নন-স্প্যাম}) = 0.6</annotation></semantics></math>$
$P("প্রিয়"|স্প্যাম)=0.8<math xmlns="http://www.w3.org/1998/Math/MathML"><semantics><mrow><mi>P</mi><mo stretchy="false">(</mo><mtext>"প্রিয়"|স্প্যাম</mtext><mo stretchy="false">)</mo><mo>=</mo><mn>0.8</mn></mrow><annotation encoding="application/x-tex">P(\text{"প্রিয়"|স্প্যাম}) = 0.8</annotation></semantics></math>$
$P("প্রিয়"|নন-স্প্যাম)=0.2<math xmlns="http://www.w3.org/1998/Math/MathML"><semantics><mrow><mi>P</mi><mo stretchy="false">(</mo><mtext>"প্রিয়"|নন-স্প্যাম</mtext><mo stretchy="false">)</mo><mo>=</mo><mn>0.2</mn></mrow><annotation encoding="application/x-tex">P(\text{"প্রিয়"|নন-স্প্যাম}) = 0.2</annotation></semantics></math>$
$P("নেতিবাচক"|স্প্যাম)=0.5<math xmlns="http://www.w3.org/1998/Math/MathML"><semantics><mrow><mi>P</mi><mo stretchy="false">(</mo><mtext>"নেতিবাচক"|স্প্যাম</mtext><mo stretchy="false">)</mo><mo>=</mo><mn>0.5</mn></mrow><annotation encoding="application/x-tex">P(\text{"নেতিবাচক"|স্প্যাম}) = 0.5</annotation></semantics></math>$
$P("নেতিবাচক"|নন-স্প্যাম)=0.3<math xmlns="http://www.w3.org/1998/Math/MathML"><semantics><mrow><mi>P</mi><mo stretchy="false">(</mo><mtext>"নেতিবাচক"|নন-স্প্যাম</mtext><mo stretchy="false">)</mo><mo>=</mo><mn>0.3</mn></mrow><annotation encoding="application/x-tex">P(\text{"নেতিবাচক"|নন-স্প্যাম}) = 0.3</annotation></semantics></math>$

এখন, একটি নতুন ইমেইলে যদি "প্রিয়" এবং "নেতিবাচক" শব্দ থাকে, তবে:

স্প্যাম হওয়ার সম্ভাবনা: $P(স্প্যাম∣প্রিয়, নেতিবাচক)=P(প্রিয়∣স্প্যাম)×P(নেতিবাচক∣স্প্যাম)×P(স্প্যাম)<math display="block" xmlns="http://www.w3.org/1998/Math/MathML"><semantics><mrow><mi>P</mi><mo stretchy="false">(</mo><mtext>স্প্যাম</mtext><mi mathvariant="normal">∣</mi><mtext>প্রিয়, নেতিবাচক</mtext><mo stretchy="false">)</mo><mo>=</mo><mi>P</mi><mo stretchy="false">(</mo><mtext>প্রিয়</mtext><mi mathvariant="normal">∣</mi><mtext>স্প্যাম</mtext><mo stretchy="false">)</mo><mo>×</mo><mi>P</mi><mo stretchy="false">(</mo><mtext>নেতিবাচক</mtext><mi mathvariant="normal">∣</mi><mtext>স্প্যাম</mtext><mo stretchy="false">)</mo><mo>×</mo><mi>P</mi><mo stretchy="false">(</mo><mtext>স্প্যাম</mtext><mo stretchy="false">)</mo></mrow><annotation encoding="application/x-tex">P(\text{স্প্যাম}|\text{প্রিয়, নেতিবাচক}) = P(\text{প্রিয়}|\text{স্প্যাম}) \times P(\text{নেতিবাচক}|\text{স্প্যাম}) \times P(\text{স্প্যাম})</annotation></semantics></math>$
নন-স্প্যাম হওয়ার সম্ভাবনা: $P (নন-স্প্যাম ∣ প্রিয়, নেতিবাচক) = P (প্রিয় ∣ নন-স্প্যাম) \times P (নেতিবাচক ∣ নন-স্প্যাম) \times P (নন-স্প্যাম) <math xmlns="http://www.w3.org/1998/Math/MathML"><mi mathvariant="normal">P</mi><mo>(</mo><mtext>নন-স্প্যাম</mtext><mi mathvariant="normal">∣</mi><mtext>প্রিয়, নেতিবাচক</mtext><mo>)</mo><mo>=</mo><mi mathvariant="normal">P</mi><mo>(</mo><mtext>প্রিয়</mtext><mi mathvariant="normal">∣</mi><mtext>নন-স্প্যাম</mtext><mo>)</mo><mo>\times</mo><mi mathvariant="normal">P</mi><mo>(</mo><mtext>নেতিবাচক</mtext><mi mathvariant="normal">∣</mi><mtext>নন-স্প্যাম</mtext><mo>)</mo><mo>\times</mo><mi mathvariant="normal">P</mi><mo>(</mo><mtext>নন-স্প্যাম</mtext><mo>)</mo></math>$

পরে, এই দুটি সম্ভাবনার মধ্যে সবচেয়ে বড়টিকে নির্বাচন করা হবে।

Naive Bayes এর উপকারিতা:

সহজ এবং দ্রুত:
Naive Bayes মডেলটি খুব সহজ এবং দ্রুত কাজ করে, কারণ এটি খুব বেশি হিসাব বা কম্পিউটেশনাল শক্তি প্রয়োজন হয় না।
মধ্যবর্তী ডেটা জন্য কার্যকর:
এটি ছোট ডেটাসেট বা এমন পরিস্থিতিতে কার্যকর, যেখানে ফিচারগুলির মধ্যে সম্পর্ক খুব বেশি নয়।
চমৎকার পারফরম্যান্স:
বিশেষত টেক্সট ক্লাসিফিকেশন (যেমন, স্প্যাম ডিটেকশন) এবং অন্যান্য কিছু প্রাকৃতিক ভাষা প্রক্রিয়াকরণ সমস্যায় Naive Bayes অত্যন্ত কার্যকরী হতে পারে।

Naive Bayes এর সীমাবদ্ধতা:

ফিচারগুলির মধ্যে সম্পর্কের উপেক্ষা:
Naive Bayes মডেলটি ফিচারগুলির মধ্যে সম্পর্ককে উপেক্ষা করে, যা বাস্তব জগতে সবসময় সত্য নয়। এই কারণে কিছু ক্ষেত্রে এটি কম পারফরম্যান্স দিতে পারে।
নন-লাইনার সম্পর্ক:
যদি ডেটাতে ফিচারগুলির মধ্যে জটিল, নন-লাইনার সম্পর্ক থাকে, তবে Naive Bayes সেগুলি সঠিকভাবে মডেল করতে পারে না।

সারাংশ

Naive Bayes একটি সহজ এবং দ্রুত মেশিন লার্নিং অ্যালগরিদম, যা ক্লাসিফিকেশন সমস্যা সমাধানে কার্যকরী। এটি বায়েজিয়ান থিওরি ব্যবহার করে এবং নিরীহ অনুমান করে যে ফিচারগুলি একে অপর থেকে স্বাধীন। যদিও এটি সহজ এবং দ্রুত, তবে এটি ফিচারগুলির মধ্যে সম্পর্কের উপেক্ষা করে, যা কিছু ক্ষেত্রে সীমাবদ্ধ হতে পারে। তবে টেক্সট ক্লাসিফিকেশন এবং কিছু অন্যান্য সমস্যা ক্ষেত্রে এটি অত্যন্ত কার্যকরী।

Content added By

Md Azizur Rahman

Bayes Theorem এবং Conditional Probability

185

Bayes' Theorem এবং Conditional Probability পরস্পরের সাথে সম্পর্কিত দুটি গুরুত্বপূর্ণ ধারণা যা পরিসংখ্যান এবং মেশিন লার্নিংয়ে ব্যাপকভাবে ব্যবহৃত হয়। এগুলি বিশেষভাবে সাজেশন (inference) এবং পূর্বাভাস (prediction) তৈরির জন্য ব্যবহৃত হয়। আসুন, প্রথমে এই ধারণাগুলি বিস্তারিতভাবে বুঝে নিই।

Conditional Probability (শর্তসাপেক্ষ সম্ভাবনা)

Conditional Probability হল একটি সম্ভাবনা যা নির্ধারণ করে যে, কোন একটি ঘটনা ঘটার সম্ভাবনা যেহেতু অন্য একটি ঘটনা ঘটেছে। সহজভাবে বলতে, এটি একটি ঘটনা ঘটার সম্ভাবনা নির্ধারণ করে, তবে শুধুমাত্র যদি কিছু নির্দিষ্ট শর্ত পূর্ণ হয়।

এটি সাধারণত এইভাবে প্রকাশ করা হয়:

$P(A∣B)=P(A∩B)P(B)<math display="block" xmlns="http://www.w3.org/1998/Math/MathML"><semantics><mrow><mi>P</mi><mo stretchy="false">(</mo><mi>A</mi><mi mathvariant="normal">∣</mi><mi>B</mi><mo stretchy="false">)</mo><mo>=</mo><mfrac><mrow><mi>P</mi><mo stretchy="false">(</mo><mi>A</mi><mo>∩</mo><mi>B</mi><mo stretchy="false">)</mo></mrow><mrow><mi>P</mi><mo stretchy="false">(</mo><mi>B</mi><mo stretchy="false">)</mo></mrow></mfrac></mrow><annotation encoding="application/x-tex">P(A | B) = \frac{P(A \cap B)}{P(B)}</annotation></semantics></math>$

এখানে,

$P (A ∣ B) <math xmlns="http://www.w3.org/1998/Math/MathML"><semantics><mrow><mi>P</mi><mo stretchy="false">(</mo><mi>A</mi><mi mathvariant="normal">∣</mi><mi>B</mi><mo stretchy="false">)</mo></mrow><annotation encoding="application/x-tex">P(A | B)</annotation></semantics></math>$ হলো A ঘটার শর্তসাপেক্ষ সম্ভাবনা, যদি B ঘটে থাকে।
$P(A∩B)<math xmlns="http://www.w3.org/1998/Math/MathML"><semantics><mrow><mi>P</mi><mo stretchy="false">(</mo><mi>A</mi><mo>∩</mo><mi>B</mi><mo stretchy="false">)</mo></mrow><annotation encoding="application/x-tex">P(A \cap B)</annotation></semantics></math>$ হলো A এবং B এর সংঘটনের সম্ভাবনা।
$P (B) <math xmlns="http://www.w3.org/1998/Math/MathML"><semantics><mrow><mi>P</mi><mo stretchy="false">(</mo><mi>B</mi><mo stretchy="false">)</mo></mrow><annotation encoding="application/x-tex">P(B)</annotation></semantics></math>$ হলো B ঘটার সম্ভাবনা।

উদাহরণ:

ধরা যাক, আপনি একটি ব্যাগ থেকে একটি লাল এবং একটি সাদা বল বের করেছেন এবং আপনি জানেন যে, ৫টি লাল এবং ৩টি সাদা বল আছে। যদি প্রথম বলটি লাল হয়, তাহলে দ্বিতীয় বলটি সাদা হওয়ার শর্তসাপেক্ষ সম্ভাবনা কী হবে?

এখানে:

$P (A) <math xmlns="http://www.w3.org/1998/Math/MathML"><semantics><mrow><mi>P</mi><mo stretchy="false">(</mo><mi>A</mi><mo stretchy="false">)</mo></mrow><annotation encoding="application/x-tex">P(A)</annotation></semantics></math>$ হলো প্রথম বলটি লাল হওয়ার সম্ভাবনা।
$P (B) <math xmlns="http://www.w3.org/1998/Math/MathML"><semantics><mrow><mi>P</mi><mo stretchy="false">(</mo><mi>B</mi><mo stretchy="false">)</mo></mrow><annotation encoding="application/x-tex">P(B)</annotation></semantics></math>$ হলো দ্বিতীয় বলটি সাদা হওয়ার সম্ভাবনা, যদি প্রথমটি লাল হয়।

Bayes' Theorem (বায়েস থিওরেম)

Bayes' Theorem একটি পরিসংখ্যানিক সূত্র যা পূর্ববর্তী (prior) ধারণা বা তথ্য এবং নতুন প্রাপ্ত তথ্যের সাহায্যে একটি আপডেটেড বা সংশোধিত পূর্বাভাস তৈরি করতে ব্যবহৃত হয়। এটি শর্তসাপেক্ষ সম্ভাবনার উপর ভিত্তি করে কাজ করে।

Bayes' Theorem এর সূত্র হলো:

$P(A∣B)=P(B∣A)P(A)P(B)<math display="block" xmlns="http://www.w3.org/1998/Math/MathML"><semantics><mrow><mi>P</mi><mo stretchy="false">(</mo><mi>A</mi><mi mathvariant="normal">∣</mi><mi>B</mi><mo stretchy="false">)</mo><mo>=</mo><mfrac><mrow><mi>P</mi><mo stretchy="false">(</mo><mi>B</mi><mi mathvariant="normal">∣</mi><mi>A</mi><mo stretchy="false">)</mo><mi>P</mi><mo stretchy="false">(</mo><mi>A</mi><mo stretchy="false">)</mo></mrow><mrow><mi>P</mi><mo stretchy="false">(</mo><mi>B</mi><mo stretchy="false">)</mo></mrow></mfrac></mrow><annotation encoding="application/x-tex">P(A | B) = \frac{P(B | A) P(A)}{P(B)}</annotation></semantics></math>$

এখানে,

$P (A ∣ B) <math xmlns="http://www.w3.org/1998/Math/MathML"><semantics><mrow><mi>P</mi><mo stretchy="false">(</mo><mi>A</mi><mi mathvariant="normal">∣</mi><mi>B</mi><mo stretchy="false">)</mo></mrow><annotation encoding="application/x-tex">P(A | B)</annotation></semantics></math>$ হলো A ঘটার শর্তসাপেক্ষ সম্ভাবনা, যদি B ঘটে।
$P (B ∣ A) <math xmlns="http://www.w3.org/1998/Math/MathML"><semantics><mrow><mi>P</mi><mo stretchy="false">(</mo><mi>B</mi><mi mathvariant="normal">∣</mi><mi>A</mi><mo stretchy="false">)</mo></mrow><annotation encoding="application/x-tex">P(B | A)</annotation></semantics></math>$ হলো B ঘটার শর্তসাপেক্ষ সম্ভাবনা, যদি A ঘটে।
$P (A) <math xmlns="http://www.w3.org/1998/Math/MathML"><semantics><mrow><mi>P</mi><mo stretchy="false">(</mo><mi>A</mi><mo stretchy="false">)</mo></mrow><annotation encoding="application/x-tex">P(A)</annotation></semantics></math>$ হলো A ঘটার পূর্বের সম্ভাবনা (prior probability)।
$P (B) <math xmlns="http://www.w3.org/1998/Math/MathML"><semantics><mrow><mi>P</mi><mo stretchy="false">(</mo><mi>B</mi><mo stretchy="false">)</mo></mrow><annotation encoding="application/x-tex">P(B)</annotation></semantics></math>$ হলো B ঘটার সাধারণ সম্ভাবনা।

ব্যাখ্যা: Bayes' Theorem পূর্বের তথ্যের ভিত্তিতে নতুন তথ্যের সাথে একটি আপডেটেড পূর্বাভাস তৈরি করার পদ্ধতি। এটি prior probability (যেমন, পূর্বের অভিজ্ঞতা বা তথ্য) এবং likelihood (যেমন, নতুন তথ্যের সাথে ঘটনার সম্পর্ক) ব্যবহার করে।

Bayes' Theorem এর উদাহরণ:

ধরা যাক, আপনি একটি পরীক্ষায় অংশ নিচ্ছেন যেখানে দুইটি পরীক্ষা হতে পারে: Positive (পজিটিভ) এবং Negative (নেগেটিভ)। এখন, আপনি জানেন যে:

পরীক্ষায় পজিটিভ আসার সম্ভাবনা ৮০% (যেমন, $P (P o s i t i v e) = 0.8 <math xmlns="http://www.w3.org/1998/Math/MathML"><semantics><mrow><mi>P</mi><mo stretchy="false">(</mo><mi>P</mi><mi>o</mi><mi>s</mi><mi>i</mi><mi>t</mi><mi>i</mi><mi>v</mi><mi>e</mi><mo stretchy="false">)</mo><mo>=</mo><mn>0.8</mn></mrow><annotation encoding="application/x-tex">P(Positive) = 0.8</annotation></semantics></math>$ )।
পরীক্ষার ফলস্বরূপ পজিটিভ আসলে সত্যিকার রোগী হওয়ার সম্ভাবনা ৯০% (যেমন, $P (R ∣ P o s i t i v e) = 0.9 <math xmlns="http://www.w3.org/1998/Math/MathML"><semantics><mrow><mi>P</mi><mo stretchy="false">(</mo><mi>R</mi><mi mathvariant="normal">∣</mi><mi>P</mi><mi>o</mi><mi>s</mi><mi>i</mi><mi>t</mi><mi>i</mi><mi>v</mi><mi>e</mi><mo stretchy="false">)</mo><mo>=</mo><mn>0.9</mn></mrow><annotation encoding="application/x-tex">P(R|Positive) = 0.9</annotation></semantics></math>$ )।
পরীক্ষার ফলস্বরূপ পজিটিভ আসলে রোগী না হওয়ার সম্ভাবনা ১০% (যেমন, $P(¬R∣Positive)=0.1<math xmlns="http://www.w3.org/1998/Math/MathML"><semantics><mrow><mi>P</mi><mo stretchy="false">(</mo><mi mathvariant="normal">¬</mi><mi>R</mi><mi mathvariant="normal">∣</mi><mi>P</mi><mi>o</mi><mi>s</mi><mi>i</mi><mi>t</mi><mi>i</mi><mi>v</mi><mi>e</mi><mo stretchy="false">)</mo><mo>=</mo><mn>0.1</mn></mrow><annotation encoding="application/x-tex">P(\neg R|Positive) = 0.1</annotation></semantics></math>$ )।

এখন, যদি আপনি জানেন যে একজন ব্যক্তি পরীক্ষায় পজিটিভ এসেছে, তাহলে এই ব্যক্তির আসল রোগী হওয়ার শর্তসাপেক্ষ সম্ভাবনা কী হবে?

Bayes' Theorem ব্যবহার করে আমরা এটি হিসাব করতে পারি:

$P(R∣Positive)=P(Positive∣R)P(R)P(Positive)<math display="block" xmlns="http://www.w3.org/1998/Math/MathML"><semantics><mrow><mi>P</mi><mo stretchy="false">(</mo><mi>R</mi><mi mathvariant="normal">∣</mi><mi>P</mi><mi>o</mi><mi>s</mi><mi>i</mi><mi>t</mi><mi>i</mi><mi>v</mi><mi>e</mi><mo stretchy="false">)</mo><mo>=</mo><mfrac><mrow><mi>P</mi><mo stretchy="false">(</mo><mi>P</mi><mi>o</mi><mi>s</mi><mi>i</mi><mi>t</mi><mi>i</mi><mi>v</mi><mi>e</mi><mi mathvariant="normal">∣</mi><mi>R</mi><mo stretchy="false">)</mo><mi>P</mi><mo stretchy="false">(</mo><mi>R</mi><mo stretchy="false">)</mo></mrow><mrow><mi>P</mi><mo stretchy="false">(</mo><mi>P</mi><mi>o</mi><mi>s</mi><mi>i</mi><mi>t</mi><mi>i</mi><mi>v</mi><mi>e</mi><mo stretchy="false">)</mo></mrow></mfrac></mrow><annotation encoding="application/x-tex">P(R | Positive) = \frac{P(Positive | R) P(R)}{P(Positive)}</annotation></semantics></math>$

এখানে,

$P (P o s i t i v e ∣ R) = 0.9 <math xmlns="http://www.w3.org/1998/Math/MathML"><semantics><mrow><mi>P</mi><mo stretchy="false">(</mo><mi>P</mi><mi>o</mi><mi>s</mi><mi>i</mi><mi>t</mi><mi>i</mi><mi>v</mi><mi>e</mi><mi mathvariant="normal">∣</mi><mi>R</mi><mo stretchy="false">)</mo><mo>=</mo><mn>0.9</mn></mrow><annotation encoding="application/x-tex">P(Positive | R) = 0.9</annotation></semantics></math>$ (রোগী হলে পরীক্ষায় পজিটিভ আসার সম্ভাবনা)
$P (R) = 0.8 <math xmlns="http://www.w3.org/1998/Math/MathML"><semantics><mrow><mi>P</mi><mo stretchy="false">(</mo><mi>R</mi><mo stretchy="false">)</mo><mo>=</mo><mn>0.8</mn></mrow><annotation encoding="application/x-tex">P(R) = 0.8</annotation></semantics></math>$ (রোগী হওয়ার সম্ভাবনা)
$P (P o s i t i v e) = 0.8 <math xmlns="http://www.w3.org/1998/Math/MathML"><semantics><mrow><mi>P</mi><mo stretchy="false">(</mo><mi>P</mi><mi>o</mi><mi>s</mi><mi>i</mi><mi>t</mi><mi>i</mi><mi>v</mi><mi>e</mi><mo stretchy="false">)</mo><mo>=</mo><mn>0.8</mn></mrow><annotation encoding="application/x-tex">P(Positive) = 0.8</annotation></semantics></math>$ (পরীক্ষায় পজিটিভ আসার সম্ভাবনা)

তাহলে, Bayes' Theorem ব্যবহার করে আপনি রোগী হওয়ার শর্তসাপেক্ষ সম্ভাবনা বের করতে পারবেন।

Bayes' Theorem এর গুরুত্ব

Bayes' Theorem আমাদের ডেটা থেকে পূর্বাভাস তৈরি করতে সাহায্য করে এবং এটি মেশিন লার্নিং, বিশেষ করে বায়েসিয়ান ইনফারেন্স (Bayesian Inference) ও স্প্যাম ফিল্টারিং (Spam Filtering) এর মতো ক্ষেত্রে অত্যন্ত গুরুত্বপূর্ণ। এটি নতুন তথ্যের সাথে পূর্বের তথ্য আপডেট করার জন্য ব্যবহৃত হয়, যা ক্লাসিফিকেশন মডেল তৈরির জন্য সাহায্য করতে পারে।

সারাংশ

Conditional Probability হলো একটি ঘটনা ঘটার সম্ভাবনা, যেহেতু অন্য একটি ঘটনা ঘটেছে।
Bayes' Theorem শর্তসাপেক্ষ সম্ভাবনা ব্যবহার করে পূর্বের তথ্য এবং নতুন তথ্যের সাহায্যে পূর্বাভাস বা সিদ্ধান্ত পরিবর্তন করতে ব্যবহৃত হয়।

এই দুটি ধারণা পরিসংখ্যান, মেশিন লার্নিং এবং ডেটা সায়েন্সে গুরুত্বপূর্ণ ভূমিকা রাখে। Bayes' Theorem নতুন তথ্যের সাথে পূর্ববর্তী অনুমান আপডেট করে এবং শর্তসাপেক্ষ সম্ভাবনা ব্যবহার করে নতুন সিদ্ধান্ত নেওয়ার প্রক্রিয়া সহজ করে।

Content added By

Md Azizur Rahman

Gaussian Naive Bayes এবং Multinomial Naive Bayes

216

Naive Bayes হল একটি সহজ এবং কার্যকর মেশিন লার্নিং অ্যালগরিদম, যা বিশেষ করে ক্লাসিফিকেশন সমস্যা সমাধানে ব্যবহৃত হয়। এটি একটি প্রবণতা ভিত্তিক মডেল, যেখানে প্রতিটি ফিচারের মানের উপর নির্ভর করে একটি ক্লাসের সম্ভাবনা হিসাব করা হয়। Naive Bayes এর বিভিন্ন ধরনের সংস্করণ রয়েছে, যার মধ্যে Gaussian Naive Bayes এবং Multinomial Naive Bayes দুটি জনপ্রিয় মডেল। এই দুটি মডেল সাধারণত ব্যবহৃত হয় বিভিন্ন ধরনের ডেটা এবং সমস্যার জন্য।

এগুলো উভয়ই Naive Bayes এর সংশোধিত সংস্করণ, তবে তাদের মধ্যে ব্যবহৃত সম্ভাব্যতা মডেল এবং অ্যাসাম্পশন আলাদা।

Gaussian Naive Bayes (গাউসিয়ান নায়িভ বেইজ)

Gaussian Naive Bayes (GNB) হল Naive Bayes এর একটি বিশেষ সংস্করণ, যা যখন ফিচারের মান গ continuous (নিরবচ্ছিন্ন) হয়, তখন ব্যবহৃত হয়। এটি গাউসিয়ান ডিস্ট্রিবিউশন বা Normal Distribution (গড় এবং বিক্ষিপ্ততা) এর ধারণা ব্যবহার করে, যেখানে প্রতিটি ফিচারের জন্য গড় এবং বিক্ষিপ্ততা হিসাব করা হয়।

ব্যবহার:

এটি সাধারণত বৈশ্বিক ডেটা (যেমন, ডেটা পয়েন্ট যেখানে প্রতিটি ফিচারের মান ধারাবাহিক হয়) শ্রেণিবদ্ধ করার জন্য ব্যবহৃত হয়।

গাণিতিক ভিত্তি:

ফিচারের জন্য গাউসিয়ান ডিস্ট্রিবিউশন ব্যবহার করা হয়। গাউসিয়ান ডিস্ট্রিবিউশনের ফর্মুলা:

$P(x∣C)=1√2πσ2exp(−(x−μ)22σ2)<math display="block" xmlns="http://www.w3.org/1998/Math/MathML"><semantics><mrow><mi>P</mi><mo stretchy="false">(</mo><mi>x</mi><mi mathvariant="normal">∣</mi><mi>C</mi><mo stretchy="false">)</mo><mo>=</mo><mfrac><mn>1</mn><msqrt><mrow><mn>2</mn><mi>π</mi><msup><mi>σ</mi><mn>2</mn></msup></mrow></msqrt></mfrac><mi>exp</mi><mo>⁡</mo><mrow><mo fence="true">(</mo><mfrac><mrow><mo>−</mo><mo stretchy="false">(</mo><mi>x</mi><mo>−</mo><mi>μ</mi><msup><mo stretchy="false">)</mo><mn>2</mn></msup></mrow><mrow><mn>2</mn><msup><mi>σ</mi><mn>2</mn></msup></mrow></mfrac><mo fence="true">)</mo></mrow></mrow><annotation encoding="application/x-tex">P(x | C) = \frac{1}{\sqrt{2\pi\sigma^2}} \exp\left(\frac{-(x - \mu)^2}{2\sigma^2}\right)</annotation></semantics></math>$

এখানে,

$x <math xmlns="http://www.w3.org/1998/Math/MathML"><semantics><mrow><mi>x</mi></mrow><annotation encoding="application/x-tex">x</annotation></semantics></math>$ হচ্ছে ফিচারের মান,
$μ<math xmlns="http://www.w3.org/1998/Math/MathML"><semantics><mrow><mi>μ</mi></mrow><annotation encoding="application/x-tex">\mu</annotation></semantics></math>$ হচ্ছে গড় (mean),
$σ2<math xmlns="http://www.w3.org/1998/Math/MathML"><semantics><mrow><msup><mi>σ</mi><mn>2</mn></msup></mrow><annotation encoding="application/x-tex">\sigma^2</annotation></semantics></math>$ হচ্ছে বিক্ষিপ্ততা (variance),
$P (x ∣ C) <math xmlns="http://www.w3.org/1998/Math/MathML"><semantics><mrow><mi>P</mi><mo stretchy="false">(</mo><mi>x</mi><mi mathvariant="normal">∣</mi><mi>C</mi><mo stretchy="false">)</mo></mrow><annotation encoding="application/x-tex">P(x | C)</annotation></semantics></math>$ হচ্ছে একটি ক্লাস $C <math xmlns="http://www.w3.org/1998/Math/MathML"><semantics><mrow><mi>C</mi></mrow><annotation encoding="application/x-tex">C</annotation></semantics></math>$ এর জন্য $x <math xmlns="http://www.w3.org/1998/Math/MathML"><semantics><mrow><mi>x</mi></mrow><annotation encoding="application/x-tex">x</annotation></semantics></math>$ এর সম্ভাবনা।

উদাহরণ:

ধরা যাক, আমাদের কাছে দুটি ফিচার (Age, Income) রয়েছে এবং আমরা দুটি ক্লাস (Spam, Not Spam) শ্রেণীবদ্ধ করতে চাই। গাউসিয়ান নায়িভ বেইজ মডেলটি এই ফিচারের জন্য গড় এবং বিক্ষিপ্ততা নির্ধারণ করবে এবং তারপর মডেলটি ব্যবহার করে প্রতিটি নতুন ইনপুটের জন্য স্প্যাম বা নন-স্প্যাম ক্লাস নির্ধারণ করবে।

Multinomial Naive Bayes (মাল্টিনোমিয়াল নায়িভ বেইজ)

Multinomial Naive Bayes (MNB) হল Naive Bayes এর আরেকটি সংস্করণ যা ডিসক্রিট (discrete) ডেটা বা কাউন্ট ডেটা (যেমন, শব্দের উপস্থিতি বা টোকেন কাউন্ট) শ্রেণিবদ্ধ করার জন্য ব্যবহৃত হয়। এটি Multinomial Distribution এর ওপর ভিত্তি করে কাজ করে, যা সাধারণত টেক্সট ক্লাসিফিকেশন (যেমন স্প্যাম ইমেইল শনাক্তকরণ) এবং ডকুমেন্ট ক্যাটেগরাইজেশন এর ক্ষেত্রে ব্যবহৃত হয়।

ব্যবহার:

এটি বিশেষভাবে ব্যবহার করা হয় যখন প্রতিটি ফিচারের মান একটি নির্দিষ্ট সংখ্যা বা সংখ্যা গণনা (count) হিসেবে প্রকাশ করা হয়, যেমন একটি নির্দিষ্ট শ্রেণীতে শব্দের সংখ্যা।

গাণিতিক ভিত্তি:

Multinomial Naive Bayes মূলত Multinomial Distribution ব্যবহার করে, যা সাধারণত শব্দের উপস্থিতি (word occurrence) বা টোকেনের সংখ্যা এর জন্য ব্যবহৃত হয়। এটি একটি নির্দিষ্ট শ্রেণীর জন্য সম্ভাবনা হিসাব করতে সাহায্য করে, যেমন:

$P(x1,x2,...,xn∣C)=P(C)P(x1,x2,...,xn)n∏i=1P(xi∣C)<math display="block" xmlns="http://www.w3.org/1998/Math/MathML"><semantics><mrow><mi>P</mi><mo stretchy="false">(</mo><msub><mi>x</mi><mn>1</mn></msub><mo separator="true">,</mo><msub><mi>x</mi><mn>2</mn></msub><mo separator="true">,</mo><mi mathvariant="normal">.</mi><mi mathvariant="normal">.</mi><mi mathvariant="normal">.</mi><mo separator="true">,</mo><msub><mi>x</mi><mi>n</mi></msub><mi mathvariant="normal">∣</mi><mi>C</mi><mo stretchy="false">)</mo><mo>=</mo><mfrac><mrow><mi>P</mi><mo stretchy="false">(</mo><mi>C</mi><mo stretchy="false">)</mo></mrow><mrow><mi>P</mi><mo stretchy="false">(</mo><msub><mi>x</mi><mn>1</mn></msub><mo separator="true">,</mo><msub><mi>x</mi><mn>2</mn></msub><mo separator="true">,</mo><mi mathvariant="normal">.</mi><mi mathvariant="normal">.</mi><mi mathvariant="normal">.</mi><mo separator="true">,</mo><msub><mi>x</mi><mi>n</mi></msub><mo stretchy="false">)</mo></mrow></mfrac><munderover><mo>∏</mo><mrow><mi>i</mi><mo>=</mo><mn>1</mn></mrow><mi>n</mi></munderover><mi>P</mi><mo stretchy="false">(</mo><msub><mi>x</mi><mi>i</mi></msub><mi mathvariant="normal">∣</mi><mi>C</mi><mo stretchy="false">)</mo></mrow><annotation encoding="application/x-tex">P(x_1, x_2, ..., x_n | C) = \frac{P(C)}{P(x_1, x_2, ..., x_n)} \prod_{i=1}^{n} P(x_i | C)</annotation></semantics></math>$

এখানে,

$x 1, x 2, . . ., x n <math xmlns="http://www.w3.org/1998/Math/MathML"><semantics><mrow><msub><mi>x</mi><mn>1</mn></msub><mo separator="true">,</mo><msub><mi>x</mi><mn>2</mn></msub><mo separator="true">,</mo><mi mathvariant="normal">.</mi><mi mathvariant="normal">.</mi><mi mathvariant="normal">.</mi><mo separator="true">,</mo><msub><mi>x</mi><mi>n</mi></msub></mrow><annotation encoding="application/x-tex">x_1, x_2, ..., x_n</annotation></semantics></math>$ হচ্ছে ফিচারের মান,
$P (x i ∣ C) <math xmlns="http://www.w3.org/1998/Math/MathML"><semantics><mrow><mi>P</mi><mo stretchy="false">(</mo><msub><mi>x</mi><mi>i</mi></msub><mi mathvariant="normal">∣</mi><mi>C</mi><mo stretchy="false">)</mo></mrow><annotation encoding="application/x-tex">P(x_i | C)</annotation></semantics></math>$ হচ্ছে ক্লাস $C <math xmlns="http://www.w3.org/1998/Math/MathML"><semantics><mrow><mi>C</mi></mrow><annotation encoding="application/x-tex">C</annotation></semantics></math>$ এর জন্য প্রতিটি ফিচারের সম্ভাবনা,
$P (C) <math xmlns="http://www.w3.org/1998/Math/MathML"><semantics><mrow><mi>P</mi><mo stretchy="false">(</mo><mi>C</mi><mo stretchy="false">)</mo></mrow><annotation encoding="application/x-tex">P(C)</annotation></semantics></math>$ হচ্ছে ক্লাসের প্রাথমিক সম্ভাবনা (Prior Probability)।

উদাহরণ:

একটি স্প্যাম ইমেইল ক্লাসিফায়ার তৈরি করার সময়, Multinomial Naive Bayes মডেলটি ইমেইলের প্রতিটি শব্দের গণনা করে এবং ক্লাস (স্প্যাম বা নন-স্প্যাম) নির্ধারণ করে।

Gaussian Naive Bayes এবং Multinomial Naive Bayes এর মধ্যে পার্থক্য

বৈশিষ্ট্য	Gaussian Naive Bayes	Multinomial Naive Bayes
ডেটা প্রকার	ধারাবাহিক বা নিরবচ্ছিন্ন ডেটা (Continuous data)	ডিসক্রিট বা গাণিতিক ডেটা (Count data)
ব্যবহার	সাধারণত গাণিতিক বা বৈশ্বিক ডেটাতে ব্যবহৃত	শব্দের সংখ্যা বা টোকেনের উপস্থিতি (text data)
ফিচারের ধরন	গাউসিয়ান ডিস্ট্রিবিউশন (Gaussian Distribution)	মাল্টিনোমিয়াল ডিস্ট্রিবিউশন (Multinomial Distribution)
প্রধান অ্যাসাম্পশন	ফিচারগুলি গাউসিয়ান ডিস্ট্রিবিউশনে বিতরণ হয়	ফিচারগুলি মাল্টিনোমিয়াল ডিস্ট্রিবিউশনে বিতরণ হয়
প্রধান ব্যবহার ক্ষেত্র	গাণিতিক ডেটা, সাধারন ক্লাসিফিকেশন কাজ	টেক্সট ক্লাসিফিকেশন, স্প্যাম ডিটেকশন

সারাংশ

Gaussian Naive Bayes ধারাবাহিক (continuous) ফিচারের জন্য ব্যবহৃত হয়, যেখানে গাউসিয়ান ডিস্ট্রিবিউশন (Gaussian Distribution) ব্যবহৃত হয়।
Multinomial Naive Bayes ডিসক্রিট ডেটা বা কাউন্ট ডেটার জন্য ব্যবহৃত হয়, যেখানে মাল্টিনোমিয়াল ডিস্ট্রিবিউশন (Multinomial Distribution) ব্যবহার করা হয়।

এগুলি Naive Bayes মডেলের দুটি আলাদা প্রকার, যেগুলি বিভিন্ন ধরনের ডেটা এবং সমস্যার জন্য প্রযোজ্য। Gaussian Naive Bayes সাধারণত গাণিতিক ডেটার জন্য ব্যবহৃত হয়, যখন Multinomial Naive Bayes টেক্সট ডেটা বা কাউন্ট ডেটার জন্য বেশি কার্যকরী।

Content added By

Md Azizur Rahman

Naive Bayes এর Strength এবং Limitations

144

Naive Bayes একটি সহজ, দ্রুত এবং কার্যকরী মেশিন লার্নিং অ্যালগরিদম, যা probabilistic মডেল হিসেবে কাজ করে। এটি প্রধানত classification সমস্যা সমাধানের জন্য ব্যবহৃত হয় এবং বিশেষভাবে বড় ডেটাসেট বা টেক্সট ক্লাসিফিকেশনের ক্ষেত্রে জনপ্রিয়। Naive Bayes মডেলটি Bayes Theorem এর উপর ভিত্তি করে কাজ করে, যেখানে প্রতিটি ফিচারকে স্বাধীন (naive assumption) ধরে নেওয়া হয়, তবে বাস্তবে এই ফিচারগুলো একে অপরের সাথে সম্পর্কিত হতে পারে।

যদিও Naive Bayes অ্যালগরিদমটি কিছু ক্ষেত্রে খুবই কার্যকর, এর কিছু সীমাবদ্ধতা ও দুর্বলতাও রয়েছে।

Naive Bayes এর Strength (শক্তি)

সহজ এবং দ্রুত প্রশিক্ষণ (Simple and Fast)
Naive Bayes একটি সহজ এবং দ্রুত অ্যালগরিদম। এটি খুব কম সময়ে প্রশিক্ষিত হয়, কারণ এতে কম্পিউটেশনাল খরচ কম এবং এতে অল্প পরিমাণে ডেটা দিয়ে কাজ করা যায়। বড় ডেটাসেটেও এটি দ্রুত কাজ করে।
কোনও ফিচার ইঞ্জিনিয়ারিং প্রয়োজন নেই (Minimal Feature Engineering Required)
Naive Bayes মডেলটি অনেক ক্ষেত্রে কম ফিচার ইঞ্জিনিয়ারিং প্রয়োজন করে। এটি independence assumption ব্যবহার করে, যেখানে প্রতিটি ফিচারকে অন্যদের থেকে আলাদা করে গণনা করা হয়। সুতরাং, এটি বিশেষত text classification, যেমন spam filtering এবং sentiment analysis এর জন্য কার্যকর।
অল্প ডেটার জন্য ভাল পারফরম্যান্স (Good Performance with Small Datasets)
Naive Bayes মডেলটি অল্প ডেটায় খুবই ভাল কাজ করে এবং মডেল প্রশিক্ষণ করতে খুব বেশি ডেটার প্রয়োজন হয় না। এ কারণে, এটি ছোট ডেটাসেটে দুর্দান্ত পারফরম্যান্স প্রদান করতে সক্ষম।
ক্লাস ইমব্যালেন্সের সাথে ভাল কাজ করে (Works Well with Class Imbalance)
Naive Bayes অ্যালগরিদমটি class imbalance পরিস্থিতিতে কার্যকর হতে পারে, যেখানে কিছু শ্রেণী অন্য শ্রেণীর চেয়ে বেশি পরিমাণে উপস্থিত থাকে। এটি probabilistic model হিসেবে কাজ করে, এবং class priors ও conditional probabilities এর ভিত্তিতে কাজ করতে পারে।
ইন্টারপ্রিটেবল (Interpretable)
Naive Bayes মডেলটি তুলনামূলকভাবে সোজা এবং ইন্টারপ্রেটেবল। এটি খুব সহজে বুঝতে পারা যায় এবং এর আউটপুটের ব্যাখ্যা করা সহজ। এটি probabilities ব্যবহার করে সিদ্ধান্ত নেয়, যার ফলে মডেলের সিদ্ধান্তের ব্যাখ্যা পাওয়া যায়।

Naive Bayes এর Limitations (সীমাবদ্ধতা)

ফিচারদের মধ্যে সম্পর্ক নেই (Independence Assumption)
Naive Bayes মডেলটি “naive” assumption ব্যবহার করে, যেখানে সব ফিচার একে অপরের থেকে স্বাধীন (independent) বলে ধরা হয়। বাস্তবে, বেশিরভাগ ডেটাসেটে ফিচারগুলির মধ্যে সম্পর্ক থাকতে পারে, এবং এই ধরনটি real-world scenarios-এ অযৌক্তিক হতে পারে। এই কারণে, এটি correlated features এর জন্য কার্যকরী নয় এবং মডেলের পারফরম্যান্স কমে যেতে পারে।
খারাপ পারফরম্যান্স যদি ডেটা অসম্পূর্ণ হয় (Poor Performance on Incomplete Data)
Naive Bayes মডেলটি যদি missing data বা incomplete data নিয়ে কাজ করতে হয়, তবে এটি পারফরম্যান্সের দিক থেকে কিছুটা অকার্যকর হতে পারে। যদিও কিছু সংশোধনী পদ্ধতি (যেমন, ল্যাপ্লাস স্মুথিং) ব্যবহার করা যেতে পারে, তবে missing values এর জন্য এটি সাধারণত ad hoc solutions প্রস্তাব করে, যা সব ক্ষেত্রেই কাজ নাও করতে পারে।
লিনিয়ার সীমাবদ্ধতা (Linear Decision Boundaries)
Naive Bayes মডেলটি সাধারণত linearly separable ডেটার জন্য ভাল কাজ করে। তবে, যখন ডেটাসেট জটিল সীমারেখার সাথে থাকে, যেমন non-linear decision boundaries, তখন এটি পারফরম্যান্সের দিক থেকে পিছিয়ে পড়ে। এতে complex relationships চিহ্নিত করা সম্ভব হয় না।
ফিচার স্কেলিং বা প্রাক-প্রসেসিং প্রয়োজন (Requires Feature Scaling or Preprocessing)
যদি ডেটাতে বিভিন্ন স্কেল বা ইউনিট থাকে, তবে Naive Bayes সঠিকভাবে কাজ নাও করতে পারে। Feature scaling বা normalization প্রক্রিয়া প্রয়োজন, বিশেষ করে যখন ডেটাতে বৈচিত্র্যপূর্ণ স্কেল থাকে।
দীর্ঘ বা জটিল ফিচার গঠনগুলি (Complex Feature Structures)
যদি ডেটাতে complex feature structures থাকে, যেখানে ফিচারগুলো শুধুমাত্র স্বাধীন নয় বরং একে অপরের সাথে জটিলভাবে সম্পর্কিত, তাহলে Naive Bayes সঠিকভাবে কাজ নাও করতে পারে। এটি শুধুমাত্র ফিচারগুলোর মধ্যে সরল এবং স্বাধীন সম্পর্কের উপর ভিত্তি করে কাজ করে।

সারাংশ

Naive Bayes অ্যালগরিদমটি দ্রুত, সহজ, এবং computationally efficient একটি পদ্ধতি, যা text classification, spam filtering, এবং sentiment analysis এর জন্য বিশেষভাবে কার্যকর। তবে, এর naive independence assumption এর কারণে, এটি বাস্তব জীবনের জটিল এবং সম্পর্কিত ডেটা সেটগুলিতে পারফরম্যান্স হারাতে পারে। এটি অল্প ডেটাসেট এবং ইমব্যালেন্সড ডেটা সহ খুব ভাল কাজ করতে পারে, কিন্তু এতে missing data এবং non-linear relationships এর জন্য কিছু সীমাবদ্ধতা রয়েছে।

Content added By

Md Azizur Rahman

Scikit-Learn পরিচিতি Scikit-Learn ইনস্টলেশন এবং সেটআপ Scikit-Learn এর মৌলিক ধারণা Data Preprocessing Train-Test Split এবং Cross-Validation

Naive Bayes Classifier

Bayes Theorem

Naive Bayes Classifier এর মূল ধারণা

Naive Bayes এর তিনটি প্রধান ধরনের অ্যালগরিদম:

Naive Bayes মডেল প্রয়োগের ধাপ:

Naive Bayes Formula:

উদাহরণ:

Naive Bayes Classifier এর সুবিধা এবং সীমাবদ্ধতা

সুবিধা:

সীমাবদ্ধতা:

সারাংশ:

Naive Bayes এর বেসিক ধারণা

Naive Bayes এর মৌলিক ধারণা

Naive Bayes এর ধাপ

Naive Bayes এর উদাহরণ

Naive Bayes এর উপকারিতা:

Naive Bayes এর সীমাবদ্ধতা:

সারাংশ

Bayes Theorem এবং Conditional Probability

Conditional Probability (শর্তসাপেক্ষ সম্ভাবনা)

Bayes' Theorem (বায়েস থিওরেম)

Bayes' Theorem এর উদাহরণ:

Bayes' Theorem এর গুরুত্ব

সারাংশ

Gaussian Naive Bayes এবং Multinomial Naive Bayes

Gaussian Naive Bayes (গাউসিয়ান নায়িভ বেইজ)

ব্যবহার:

গাণিতিক ভিত্তি:

উদাহরণ:

Multinomial Naive Bayes (মাল্টিনোমিয়াল নায়িভ বেইজ)

ব্যবহার:

গাণিতিক ভিত্তি:

উদাহরণ:

Gaussian Naive Bayes এবং Multinomial Naive Bayes এর মধ্যে পার্থক্য

সারাংশ

Naive Bayes এর Strength এবং Limitations

Naive Bayes এর Strength (শক্তি)

Naive Bayes এর Limitations (সীমাবদ্ধতা)

সারাংশ

All Notifications

Promotion